Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success
前缀可执行性：评估工具使用代理超越最终成功率
🧭 Agent 工具调用轨迹评估
Oracle AI
提出前缀可执行性评估协议，量化工具调用轨迹每一步的可执行性，揭示仅看最终成功的盲区
📌 工作参考价值（4 点）
- 在电商客服、导购等工具型 Agent 评估中，不要只统计最终任务成功率；引入 Prefix Executability 指标（TER、FED、AUC-PEC）量化多步工具调用的轨迹可靠性，提前发现“最终成功但中间调用非法”的隐患。
- 可将显式 pre-execution plan checking 作为工作流校验层：在 Agent 执行 tool call 前检查工具 schema、状态前置条件和数据依赖，能提升可执行前缀生存率且不损失最终成功率，适合嵌入生产级 agent 编排。
- 用 First-Error Depth 定位首次失败步骤，结合 Recovery Rate 评估 Agent 从早期错误恢复的能力，用于线上故障归因和版本对比。
- 对订单处理、库存查询、营销活动配置等多轮工具调用场景有直接迁移价值，可在 A/B 测试中作为可靠性辅助指标。